面向连续扩散语言模型的 Transformer 架构设计
🧭 连续扩散语言模型 · Transformer 架构优化
Polyadic Research Group · Dots Studio, Xiaohongshu · Peking University · SAGA Lab, The Chinese University of Hong Kong, Shenzhen · The University of California, Los Angeles
提出 LangDiT 架构，通过多项归一化与梯度路由改进，显著降低生成困惑度，刷新连续扩散语言模型 SOTA
📌 工作参考价值（4 点）
- 如果业务中尝试用扩散模型做文本生成（如商品描述、推荐理由、query 扩写），LangDiT 的 QK 归一化、更宽噪声条件和梯度路由技巧可直接迁移，降低生成困惑度。
- 连续扩散语言模型支持并行解码，适合低延迟文本生成场景，可探索用于实时推荐理由或广告文案生成。
- 置信度门控训练自条件可在训练时随机用模型自身预测作为条件，提升采样质量且不增加推理成本，适合作为生成式推荐模型的训练 trick。
- 架构级改进（而非单纯堆参数）对扩散生成质量提升明显，验证了在生成式模型中骨干网络设计的重要性，可借鉴到自研生成式推荐模型的 backbone 优化中。
Orthros：相位感知异构注意力，高效 Transformer
🧭 高效 Transformer 注意力架构 ★ 深度解读
The Hong Kong Polytechnic University · University of Chinese Academy of Sciences · Independent Researcher · University of Sydney
Orthros 注意力按预填充/解码相位解耦：线性复杂度预填充加全注意力解码，长上下文召回近无损并大幅加速推理
📌 工作参考价值（4 点）
- 对于推荐/搜索/Agent 中长 prompt、短输出的场景（如基于大段用户行为序列生成推荐理由、商品描述改写），这类相位解耦注意力可将 TTFT 降低数倍，适合在线低延迟要求；若输出很短，收益尤其明显。
- 现有 LLM（如 Qwen3、Llama3.1）可通过 80B token 级继续训练转换为 Orthros 结构，且性能不降，业务方可在已有模型上低成本验证和部署；转换时注意保留窗口大小 128 的设置。
- 双流设计（滑动窗口 + 全注意力）通过复制输出 token 实现全局召回，可复用到需要长上下文记忆的对话式推荐、个性化解释生成等任务，避免线性注意力带来的召回损失。
- 工程落地需注意：当前实现基于 FLA/SGLang，解码时额外 token 会增加 FLOPs，但在 I/O bound 解码阶段可被掩盖；若使用 MoE 或需要 KV cache 压缩，需要定制路由和缓存策略。
T2MLR：带时序中层循环的 Transformer
🧭 中层时序循环增强Transformer隐式推理
Princeton University · Princeton Language and Intelligence
在Transformer中层引入跨时间步的隐状态循环，缓解自回归信息瓶颈，提升推理性能
📌 工作参考价值（4 点）
- 可将中层循环引入现有LLM，通过微调提升多步推理任务性能，无需重新预训练，适合在已有Agent系统中以低成本增强模型推理能力。
- 局部循环设计（仅对20%的中间层做递归）既有效又轻量，可作为工程优化思路：在微调大模型时只改装关键的中间层块，减少额外计算开销。
- 隐状态跨步传递的机制可借鉴到需要跨轮次保持中间运算状态的应用，如对话Agent的长期上下文理解、多轮谈判策略规划等。
- 实验表明，改装1.7B模型并微调即可大幅提升数学推理，该方法也可尝试用于电商搜索中的复杂意图解析或多条件过滤推理。
状态-预测分离假说
🧭 Transformer 架构改进 · 预训练效率
Cornell University · Harvard University
分离 Transformer 中的状态存储和下一 token 预测功能，显著提升语言模型预训练效率和下游表现。
📌 工作参考价值（3 点）
- 用户行为序列建模（如点击序列）可借鉴双流设计：显式分离长期兴趣状态的存储和短期行为预测，可能提升数据效率和下游任务表现。
- 对于生成式推荐模型（用 LLM 生成 Semantic ID），分离持久状态与瞬时预测流可改善生成质量并加速收敛。
- 在预训练大型序列模型时，可尝试引入状态-预测分离，以更少的计算和 token 预算获得更强的表征，再微调至搜索/推荐任务。
Delta 注意力残差：用层间变化替代累积状态提升路由选择性
🧭 Delta 注意力残差路由
Independent Researcher · University of Wisconsin–Madison
用子层输出的变化量（delta）替代累积隐藏状态进行注意力路由，缓解深层冗余与路由塌缩
📌 工作参考价值（4 点）
- 推荐模型中的跨层特征融合：借鉴 delta 残差机制，在深度兴趣网络等模型中，将各层输出的变动量作为注意力汇聚的对象，避免相邻层特征高度冗余，提升高阶交互的区分度。
- 多智能体通信路由优化：当多个 Agent 间传递信息时，不直接传递当前状态，而传递相对于上一轮的变化量（delta），可使路由注意力更聚焦于新颖信息，降低通信带宽并提升协作效率。
- 预训练模型微调策略：可将现有 Transformer 模型的固定残差连接替换为 Delta 注意力残差后，仅通过少量微调就能继承预训练知识并获得困惑度收益，适合业务场景中低成本架构升级。
- 大规模模型训练稳定性：Delta 残差天然具有更高对比度的注意力分布，能缓解深层网络中的路由塌缩，在训练 recommender 的深层 Transformer 时可直接采用该连接方式以提升训练稳定性和最终效果。